Один из блоггеров, пишущих о платформе VMware vSphere (у него есть кстати симулятор экзамена VCDX), выложил на GitHub интересный документ, который может оказаться полезным администраторам больших виртуальных инфраструктур и сотрудникам системных интеграторов - vTestPlans.

Это документ, доступный в форматах Microsoft Word и PDF, представляет собой план тестирования виртуальной инфраструктуры VMware vSphere. Да, пока он еще весьма небольшой и очень приблизительный, но автор уверяет, что будет развивать и расширять его, в том числе за счет помощи от участников сообщества VMware.

Штука эта на самом деле полезная, когда вы в какой-нибудь компании внедряете VMware vSphere и хотите проверить работоспособность программно-аппаратного комплекса в целом после развертывания.

На днях некоторые пользователи VMware vSphere заметили, что их браузер Google Chrome крашится при попытке доступа через VMware vSphere Web Client на базе технологии Adobe Flex к серверу vCenter. Баг обнаружил William Lam и другие пользователи vSphere.

В этом случае Хром вываливается вот с такой ошибкой:

Shockwave Flash has crashed

При этом ни перезапуск хрома, ни перезапуск системы не помогает избавиться от ошибки.

Вся фишка в том, что Google выпустила обновление библиотеки Flash (27.0.0.170) вместе с последним обновлением браузера Chrome (61.0.3163.100), которое имеет ошибки при работе с флешем, причем не только для продуктов VMware. Одним из временных решений проблемы было бы использование браузера Firefox, но и там используется такая же библиотека Flash.

Ну а чтобы вылечить Google Chrome нужно сделать вот что:

1. Найти старую библиотеку pepperflashplayer.dll для Google Chrome (например, для Windows она выложена здесь) и положить ее в папку 27.0.0.170 вашей директории Chrome.

Находится эта папка вот тут:

• Windows - %LocalAppData%\Google\Chrome\User Data\PepperFlash
• Mac OS - ~/Library/Application Support/Google/Chrome/PepperFlash

2. Отключить функции автоматического обновления Google Chrome. Для этого в ключе реестра:

HKLM\SOFTWARE\Policies\Google\Update\AutoUpdateCheckPeriodMinutes

нужно выставить значение 0. После этого Chrome должен заработать с vSphere Web Client:

На Mac OS, кстати, старая версия библиотеки сохраняется в папке 27.0.0.159, поэтому вы просто можете скопировать ее в новую папку 27.0.0.170 и залогиниться в vSphere Web Client.

Баг этот очень неприятный, но в этот раз VMware не виновата. Накосячили в Гугл и Адоби. Флеш умирает сам:)

Следить за обновлениями о баге можно по этой ссылке.

В сентябре мы писали о новых возможностях тонкого клиента vSphere Client 3.21, предназначенного для управления виртуальной инфраструктурой через браузер на базе технологии HTML5. За прошедший месяц вышли обновленные версии VMware vSphere Client 3.22, 3.23 и 3.24, о новых возможностях которых мы расскажем ниже.

Итак, что нового появилось в vSphere Client (на картинке выше, кстати, скрин кастомизации ОС):

• Возможность кастомизации всех сетевых настроек, включая шлюз по умолчанию, при применении спецификации кастомизации гостевой ОС виртуальной машины (при клонировании или кастомизации существующей ВМ).
• Добавление контроллера NVMe для новой или существующей ВМ.
• Улучшенное представление просмотра деталей о совместимости в мастере развертываниия новой ВМ.
• Возможность загрузки папки из файлового браузера.
• Группы DRS могут быть отфильтрованы по их составляющим хостам.
• В портлете VM Storage Policy отображаются Replication groups.
• Можно посмотреть список установленных VIB-пакетов (на vSphere 6.5).
• Редактирование информации о видеокарте для виртуальной машины.
• Пофикшено множество багов, в том числе касающихся снапшотов.

Скачать VMware vSphere Client 3.24 можно по этой ссылке.

Как пишут многие, в последнее время с виртуальным модулем VMware vCenter Server Appliance (vCSA) часто случаются проблемы. Например, вот такая ошибка появляется время от времени:

503 Service Unavailable (Failed to connect to endpoint: [N7Vmacore4Http20NamedPipeServiceSpecE:0x0000559b1531ef80] _serverNamespace = 
/ action = Allow _pipeName =/var/run/vmware/vpxd-webserver-pipe)

Как пишет Anthony Spiteri, зачастую эта ошибка связана с тем, что Linux-система, на базе которой работает vCSA (а именно Photon OS в vCSA 6.5), пока еще имеет достаточно ненадежную реализацию стека работы с хранилищами (в отличие от того, который есть в Windows). Поэтому при некоторых неполадках со стораджем или появлении высокой задержки (latency) сервер vCSA может "выпадать".

Ведь vCSA 6.5 имеет аж 12 файлов виртуальных дисков VMDK (раньше их было два), с которыми что-нибудь да может иногда случиться. Один из вариантов решения - проверить диски утилитой e2fsck, которая может проблем в случае 503 ошибки. Также проблема может таиться в USB-устройствах, и тогда вам поможет вот эта статья. А еще можно заглянуть вот сюда.

Может еще помочь выполнение следующих команд в консоли vCSA для перезапуска vSphere Web Client (надо будет подождать 15 минут):

service-control --stop vsphere-client

service-control --start vsphere-client

Ну и не забудьте заглянуть в эту ветку форумов VMware.

Интересно, что совсем недавно компания VMware анонсировала ежемесячные обновления vCSA, что может постепенно уменьшить имеющиеся проблемы. Но пока надежность vCenter для Windows остается более проверенной штукой (по крайней мере, в плане хранилищ), поэтому пока все вокруг топят за vCSA, подумайте нужно ли именно сейчас на него переезжать.

Это Часть 3 в серии о Storage DRS. В предыдущей части мы говорили о том как создавать и удалять SDRS Anti-Affinity правила. Чтобы закрыть тему, нам осталось редактировать/реконфигурировать существующие правила. Логично предположить, что это будет функция Set-SdrsAntiAffinityRule.

На прошедшей конференции VMworld 2017 в рамках сессии "VMware Virtual Volumes Technical Deep Dive" компания VMware рассказала о технических аспектах технологии VVols, а также возможностях, которые появятся в следующей версии платформы виртуализации VMware vSphere:

Самый интересный слайд показывают в конце презентации:

Во-первых, надо отметить, что следующая версия vSphere будет иметь номер 6.7, а, во-вторых, давайте посмотрим на три фичи, которые появятся в VVols, подетальнее:

• Support for Microsoft Cluster Server (MSCS) – это была одна из причин, по которой администраторы до сих пор используют RDM, а этот вариант использования не поддерживается со стороны VVols. Данная поддержка позволит расширить сферу использования технологии.
• Performance parity with VMFS – в данном случае цель VMware - обеспечить высокую производительность VVols, поскольку сейчас есть промежуточный компонент Protocol Endpoint, который замедляет работу подсистемы ввода-вывода. Также будут оптимизированы такие операции как bind, соединения VASA, а также обработка метаданных томов VVols. Кстати, в целом-то VVols должна работать даже побыстрее, чем VMFS.
• IPv6 support – платформа vSphere уже давно поддерживает IPv6, а сами VVols будут поддерживать IPv6 на уровне службы VASA Provider.

Поддержка NFS 4.1 и операций BIND/UNBIND/REBIND. Сейчас они делаются через VASA provider, которые идут через control path, поэтому медленные, а будут работать через Protocol Endpoint (то есть data path, что быстрее).

Будем следить за новостями о новых возможностях VMware vSphere 6.7.

Один из наших читателей обратил внимание на то, что недавно компания VMware выпустила существенное обновление VMware vSphere 5.5, в котором присутствует немало исправлений ошибок.

Первое - это патч для VMware ESXi 5.5 от 14 сентября (ESXi-5.5.0-20170904001-standard, билд 6480324). В нем пофикшены проблемы с виртуальными MAC-адресами, зависающими VMX-процессами, вылетами гипервизора в розовый экран, зависанием всего хоста ESXi, замедлением работы виртуальных машин и многое другое. В общем, патч обязательно надо накатить, если вы все еще используете версию 5.5.

Скачивается патч через Download Center:

Как накатывать патчи на ESXi 5.x мы писали вот тут.

Второе обновление - это апдейт сервисов vCenter 5.5, также от 14 сентября.

Тут были обновлены следующие компоненты:

• vCenter Single Sign-On
• vCenter Inventory Service
• vCenter Server
• vSphere Web Client
• vRealize Orchestrator (бывший vCenter Orchestrator)
• vSphere Update Manager

Это Часть 2 в серии о Storage DRS. Часть 1 «Как конфигурировать Storage DRS кластеры с PowerCLI – Часть 1» находится здесь. Часть 3 «Как конфигурировать SDRS Anti-Affinity правила с PowerCLI – Часть 3» и может быть даже Часть 4 «Как просмотреть историю операций SDRS кластеров с PowerCLI – Часть 4» ожидаются в ближайшем будущем. Следите за новыми публикациями! Эта статья расскажет о 4 новых функциях...

За прошедшие три недели, во время конференции VMworld 2017 и сразу после нее, компания VMware выпустила обновления своего HTML5-клиента для управления виртуальной инфраструктурой - vSphere Client 3.21 и 3.20. Напомним, что о версии vSphere Client 3.19 мы писали вот тут.

Давайте посмотрим, что нового появилось в последних двух обновлениях клиента, который скоро станет основным средством управления виртуальной инфраструктурой:

• Создание и редактирование спецификаций кастомизации ВМ с кастомными сетевыми настройками.
• Редактирование и клонирование компонента Storage Policy.
• Установки возможностей хранилищ (Datastore > Configure > Capability sets).
• Создание, редактирование и удаление групп Link Aggregation на распределенных виртуальных коммутаторах.
• Просмотр установленных I/O Filters для хостов и кластеров.
• Создание и конфигурирование сетевых пулов ресурсов для механизма Network I/O Control v3.
• Запрос подтверждения при логауте во время закачки/скачки файла с датастора.
• Новый фильтр в диалоговом окне VM Settings > Network Adapter > Browse.
• Возможность включения/отключения IPv6 на хостах ESXi.
• Информация о назначенных Shares доступна в представлениях Resource Allocation для кластеров и пулов ресурсов.
• Если ESXi находятся под управлением vCenter 6.5, то для сенсоров оборудования показываются временные метки, когда были получены их статусы.

Загрузить VMware vSphere Client 3.21 можно по этой ссылке.

На днях компания VMware выпустила утилиту DRS Dump Insight, описание которой доступно на сайте VMware Labs. Это портал самообслуживания, куда пользователи могут загружать файлы дампов DRS. После этого будет выведена информация об операциях по перемещению виртуальных машин, которые рекомендует выполнить механизм балансировки нагрузки DRS :

Утилита DRS Dump Insight позволит ответить на следующие вопросы:

• Почему DRS выдал конкретную рекомендацию (улучшить баланс по CPU, по памяти и т.п.)?
• Почему DRS не вырабатывает рекомендации по балансировке кластера?
• Какие рекомендации DRS выработал для анализа cost/benefit (затраты/выгоды)?
• Можно ли получить список вообще всех рекомендаций, выданных DRS?

После того, как вы загрузите файл дампа на портал, вы можете получить детальную информацию о том, через какие промежуточные рекомендации по миграциям механизм DRS прошел, чтобы выработать финальный список.

Вот так выглядит этот отчет (его можно экспортировать в PDF):

Нажав "Show" можно увидеть исходный и целевой хосты ESXi, для которых сформирована рекомендация по перемещению ВМ в данной категории.

Также в утилите доступна аналитика вида "что если?" (what-if analysis), которая позволяет смоделировать следующие ситуации:

• Изменение пороговых значений миграции (DRS Migration Threshold).
• Удаление правил affinity/anti-affinity rules в кластере.
• Изменение расширенных настроек DRS.

Средство DRS Dump Insight будет очень полезно Enterprise-администраторам, ищущим средство для аналитики, тонкого тюнинга DRS и оптимизации миграций vMotion в рамках больших кластеров. Утилита доступна по адресу https://www.drsdumpinsight.vmware.com/.

На проходящей сейчас конференции VMware VMworld 2017 будет сделано много интересных анонсов, в том числе новых продуктов и технологий, но в этом посте мы расскажем, наоборот, о том, какие продукты доживают свои последние дни и больше будут недоступны в следующих версиях платформы VMware vSphere.

1. VMware vCenter Server for Windows.

Да, нетленная классика, продукт, являвшийся основным решением для управления платформой VMware vSphere, уходит в прошлое. На смену ему придет полнофункциональный виртуальный модуль VMware vCenter Server Appliance (vCSA) - готовая виртуальная машина на базе Linux, предоставляющая все необходимые сервисы vCenter. vCSA был анонсирован еще в версии vSphere 5.0 (а это было аж 6 лет назад) и с тех пор показал себя как надежное средство управления виртуальной инфраструктурой.

Мы уже писали о том, что vCSA позиционируется как главный инструмент управления vSphere, а сама VMware выпускает рекомендации по миграции на vCSA с обычного vCenter. К эксклюзивным преимуществам vCSA относятся такие возможности, как бэкап и восстановление на уровне файлов, унифицированная процедура обновления, нативные функции vCenter High Availability и существенное опережение обычного vCenter в плане производительности.

Напомним, что vCSA построен на базе операционной системы Photon OS и базы данных vPostgres, что позволит VMware поддерживать весь стек решения (а не только отдельные сервисы, как для Windows). Пользователи любят vCSA за простоту развертывания и обновлений.

Более подробно о снятии с производства vCenter Server for Windows написано здесь. Следующий релиз vSphere еще будет содержать vCenter Server for Windows, но это будет последний его мажорный релиз.

2. VMware vSphere Web Client.

О том, что Web Client скоро прикажет долго жить мы пишем по нескольку раз в месяц, да что-то он никак не умрет. На данный момент версия vSphere Client 3.19, построенная на базе технологии HTML 5, имеет около 90% всего функционала Web Client, но все еще не дотягивает до полноценной версии (вот таблица отличий функционала).

Web Client уходит по понятным причинам - технология Flash, на которой он построен, уходит в небытие (об этом объявила и сама Adobe). В vSphere 6.5 Update 1, который вышел недавно, уже присутствует свежая версия vSphere Client, а в следующем мажорном релизе vSphere будет поставляться его полноценная релизная версия. А вот Web Client в следующем релизе появится уже в последний раз, а через один релиз его уже исключат из дистрибутива платформы, поэтому нужно осваивать vSphere Client уже сейчас.

Более подробно о снятии с производства Web Client написано здесь.

3. Интерфейс vmkLinux APIs.

Помимо списания vCenter и Web Client, компания VMware также убирает интерфейс vmkLinux API, который уже устарел, и вместо которого используется архитектура нативных драйверов под vSphere, начиная еще с ESXi 5.5.

vmkLinux - это такая прослойка между VMkernel и Linux-драйверами, которая позволяла транслировать команды от ядра (так как VMkernel - это НЕ Linux) к драйверам и обратно. Но теперь нативных партнерских драйверов устройств для ESXi накопилось достаточно, и старая архитектура Linux-драйверов уходит в прошлое.

В следующем релизе vSphere модель vmkLinux API еще будет присутствовать, но это будет последнее большое обновление, которое будет ее поддерживать. Нативные драйвера вполне справляются со всеми задачами для большинства брендового оборудования, однако некоторое количество непопулярного железа перестанет работать. Надо быть к этому готовым.

Более подробно об отказе от vmkLinux API написано здесь.

Компания VMware выпустила большое обновление своего средства для управления виртуальной инфраструктурой, доступное на VMware Labs. На днях вышел веб-клиент VMware vSphere Client 3.19. Напомним, что он построен на базе технологии HTML5 и работает намного быстрее своего предшественника vSphere Web Client. Пару недель назад мы писали о версии 3.18, а уже подоспело большое обновление. Видимо, это к предстоящему VMworld 2017.

Итак, новые возможности vSphere Client 3.19:

• Добавление хостового и клиентского USB-устройства к виртуальной машине.
• Добавление USB-контроллера.
• Действие по добавлению лицензии на сервер vCenter, кластер или хост.
• Редактирование и клонирование политики хранилищ (VM Storage Policy), а также для отдельных ВМ (Actions > VM Policies > Edit VM Storage Policies).
• Компонентное представление политики хранилищ. Создание и удаление компонентов.
• Представление Related VM Templates для политики хранилищ.
• Монтирование датасторов VVol.
• Новый портлет VVOL Capability Profiles Capacity.
• Создание и изменение спецификаций кастомизации ВМ (пока без кастомных конфигураций сетевого взаимодействия)
• Конфигурация для отдельных дисков при клонировании ВМ или шаблона на странице Select storage.
• Списки хостов могут быть отсортированы по потреблению CPU и памяти.
• Мониторинг использования памяти DRS для кластеров, позволяющий переключаться между графиками active и consumed memory.
• Обновленный интерфейс в мастере миграции, в части диалога compatibility issues - возможность отсортировать список по ВМ, хостам или самой проблеме совместимости.

Как мы видим, VMware наращивает темп по приближению к функциональности старого средства управления vSphere Web Client (их отличия приведены вот тут). Скачать VMware vSphere Client 3.19 можно с VMware Labs по этой ссылке.

Где-то во время релиза обновленной версии платформы VMware vSphere 6.5 компания VMware выпустила и новую версию фреймворка PowerCLI 6.5, в котором было много новых возможностей, особенно касающихся управления кластером vSAN.

На днях же вышла версия PowerCLI 6.5.2 (сразу же после релиза vSphere 6.5 Update 1), посмотрим что там появилось нового, а также заодно упомянем новые фичи прошлого апдейта - PowerCLI 6.5.1 (он вышел 3 месяца назад).

Напомним также, что теперь PowerCLI можно устанавливать и обновлять через портал Microsoft PowerShell Gallery всего одной командой:

Итак, посмотрим что нового в PowerCLI 6.5.2:

1. Параметр InventoryLocation.

Если раньше при перемещении ВМ использовался параметр Destination, который принимал тип folder, ESXi-хост, кластер или ресурс-пул (но только одно из вышеперечисленного), то теперь можно использовать параметр InventoryLocation для задания непосредственного конечного положения ВМ. Это упрощает перемещение ВМ, например, между серверами vCenter:

2. Можно использовать ISO из Content Library.

Теперь командлет New-CDDrive имеет параметр ContentLibraryIso, который можно использовать для указания ISO-образа в библиотеке.

3. Обновления экспериментальных фичей:

• Set-HardDisk -ZeroOut. Этот параметр можно использовать для заполнения диска нулями при прямом обращении к хосту ESXi.
• New-HardDisk -AdvancedSetting. Этот параметр используется для ассоциации правил Storage Distributed Resource Scheduler (SDRS).
• New-VM -AdvancedSetting. Аналогично предыдущему пункту - нужен для правил SDRS.
• Install-VMHostPatch. Весь этот командлет пока экспериментальный.

А вот что нового было в PowerCLI 6.5.1:

1. Автозагрузка модулей PowerShell.

Теперь после логина и выполнения запроса к командлету автоматически подгружаются все необходимые модули. Например, вот что происходит после выполнения Connect-VIServer (обратите внимание на состав модулей):

2. Новые и обновленные командлеты для групп кластеров DRS и правил VM/Host.

Следующие командлеты были добавлены:

• Get-DRSClusterGroup
• New-DRSClusterGroup
• Set-DRSClusterGroup
• Remove-DRSClusterGroup
• Get-DRSVMHostRule
• New-DRSVMHostRule
• Set-DRSVMHostRule
• Remove-DRSVMHostRule

3. Новый модуль VMware.VimAutomation.Srm для управления SRM.

Теперь он вынесен из основного модуля в отдельный.

4. Обновления API.

Для работы с внешними продуктами были очень существенно обновлены модули vR Ops (vRealize Operations) и Horizon (для работы с Horizon View 7.1 API).

5. Новые командлеты для iSCSI vSAN.

Здесь появились следующие командлеты для управления инициаторами и таргетами iSCSI:

• Get-VsanIscsiInitiatorGroup
• New-VsanIscsiInitiatorGroup
• Set-VsanIscsiInitiatorGroup
• Remove-VsanIscsiInitiatorGroup
• Get-VsanIscsiTarget
• New-VsanIscsiTarget
• Set-VsanIscsiTarget
• Remove-VsanIscsiTarget
• Get-VsanIscsiInitiatorGroupTargetAssociation
• New-VsanIscsiInitiatorGroupTargetAssociation
• Remove-VsanIscsiInitiatorGroupTargetAssociation
• Get-VsanIscsiLun
• New-VsanIscsiLun
• Set-VsanIscsiLun
• Remove-VsanIscsiLun
• Get-VsanStat
• Start-VsanDiskFormatUpdate
• Get-VSANView

Также модуль Storage получил новые командлеты для механизма storage policy based management (SPBM):

• Start-SpbmReplicationPromote
• Start-SpbmReplicationTestFailover
• Stop-SpbmReplicationTestFailover

Более подробно обо всем этом написано в VMware PowerCLI 6.5.2 Cmdlet Reference. Загрузить vSphere PowerCLI 6.5.2 и получить подробную информацию о новых фичах по релизам можно на этой странице.

На днях вышел интересный отчет компании Principled Technologies, специализирующейся, в том числе, на всякого рода тестировании аппаратно-программных сред. В документе "VMware vSphere memory overcommitment delivered greater VM density than Red Hat Virtualization" рассказывается о том, что на одном и том же оборудовании с помощью гипервизора ESXi можно запустить больше виртуальных машин, чем на гипервизоре KVM платформы RHEV.

Понятное дело, что исследование ангажированное (хотя бы, если посмотреть на заголовок), но поскольку таких документов не так много, мы решили обратить на него внимание.

Для тестирования использовался стоечный сервер Lenovo x3650 M5, на котором в виртуальных машинах работала СУБД Microsoft SQL Server 2016 с нагрузкой типа OLTP. В качестве основного показателя производительности использовался OPM (orders per minute), отображающий количественную оценку исполненных транзакций.

Если не использовать техники Memory Overcommit, то результат выполнения на 15 виртуальных машинах одного хоста в числе OPM примерно одинаковый на обоих гипервизорах:

А вот когда происходит увеличение числа виртуальных машин, то vSphere показывает себя значительно лучше:

Крестиками отмечены машины, которые на RHV просто не запустились, консоль продукта выдала вот такую ошибку:

Несмотря на включение техник оптимизации памяти в Red Hat Virtualization Manager (RHV-M), таких как memory ballooning и kernel shared memory, шестнадцатая виртуальная машина все равно отказывалась запускаться на KVM:

Ну а на vSphere продолжали наращивать число ВМ, пока не уперлись в недостаток ресурсов:

Получилось, что с техниками overcommit на vSphere получилось запустить 24 виртуальных машины, а на RHV - всего 15 штук. По итогу сделали вывод, что на VMware vSphere в 1,6 раза можно запустить больше виртуальных машин:

Не сказать, что это объективное тестирование, но очевидно, что ESXi в данном случае работает лучше KVM с точки зрения всяких оптимизаций памяти и прочих ресурсов ВМ.

На днях компания VMware объявила о доступности онлайн-ресурса vSphere Central, на котором собраны все необходимые технические материалы по работе с платформой VMware vSphere. Ассеты, размещенные на vSphere Central, позволят администраторам получить все необходимые знания и навыки по работе с различными компонентами продукта, научиться обновлять их, обслуживать и прочее.

Контент на портале представлен в различных форматах, таких как текст/PDF, презентации, видео, а также живые кликабельные демонстрации продуктов и технологий (walkthrough).

Среди контента портала есть утилита vSphere 6.5 Topology and Upgrade Planning Tool, которая поможет администраторам vSphere спланировать новые развертывания решения, а также провести успешный апгрейд на версию 6.5 с прошлых версий платформы.

Если вы планируете обновление, то это средство спросит у вас текущие параметры виртуальной среды и желаемые параметры целевой инфраструктуры, а потом подскажет примерную рекомендуемую топологию:

Также, как часть процесса миграции, вам дадут текстовые и графические рекомендации по переносу сервера VMware vCenter в виртуальный модуль vCenter Server Appliance (так как сейчас это рекомендуемый сценарий эксплуатации vCenter).

Как бонус, в самом конце вам дадут список ресурсов о том, что необходимо будет сделать после обновления виртуальной инфраструктуры. Эти ресурсы можно будет отправить себе или своему коллеге по электронной почте.

Получить доступ к vSphere 6.5 Topology and Upgrade Planning Tool можно по этой ссылке. Компания VMware делает особенный акцент на том, что это средство будет постоянно улучшаться, как в плане UI, так и в плане насыщения контентом.

Не так давно мы писали об утилите VM Deployer, которая представляет собой Java-приложение с графическим интерфейсом, позволяющее развернуть виртуальный модуль OVA/OVF с расширенными опциями. Это удобно для тех администраторов виртуальной инфраструктуры VMware vSphere, у которых не получается развернуть модуль через vSphere Web Client или vSphere Client, либо не хватает его возможностей, а также возможностей консольной утилиты ovftool.

С того времени вышли версии VM Deployer 1.2 и 1.4, в которых уже появились функции поинтереснее, чем в первой версии, поэтому ниже мы расскажем об основных из них.

• Генерация полной консольной команды для ovftool. В графическом интерфейсе выбираете все необходимые параметры, нажимаете кнопку - и выплевывается строчка, которую можно вставить в консоль и выполнить.
• Развертывание ВМ из виртуального модуля сразу в несколько расположений. Например, это удобно для тестовой среды - поставил развертываться и ушел. Также это работает быстрее последовательного развертывания.
• Конфигурирование сразу нескольких сетевых интерфейсов и виртуальных сетей. Раньше в GUI можно было сделать только один, а после развертывания добавлять и настраивать остальные.
• Поддержка нескольких секций OVF-спецификации. Раньше не все параметры отображались - это был баг данной утилиты.
• Экспорт виртуальной машины на локальную файловую систему. Это может пригодиться в целях бэкапа, когда нужно быстро и на короткое время сохранить машину.
• Возможность открытия консоли VMRC к машине после ее деплоя. Также можно открыть консоль и к любой другой уже существующей машине.
• Прямо из утилиты можно создавать новые папки на датасторах. Это можно делать при развертывании виртуальной машины из виртуального модуля, чтобы не обращаться в Web Client.
• Возможность размещения ВМ в кластере - эта функция доступна при выборе кластера из выпадающего списка объектов инфраструктуры.

Скачать утилиту VM Deployer 1.4 можно по этой ссылке.

Как вы знаете, на днях компания VMware выпустила обновленную версию платформы vSphere 6.5 Update 1, одной из новых возможностей которой стала обновленная версия клиента vSphere Client. Напомним, что этот клиент построен на базе технологии HTML5, и работает он намного быстрее своего предшественника vSphere Web Client. О прошлой версии vSphere Client 3.17 мы писали всего неделю назад.

Доступен vSphere Client на сайте проекта VMware Labs, ну а теперь его версия 3.18 включена в состав платформы vSphere 6.5 U1. На самом деле, мало что добавилось по сравнению с версией 3.17:

• В мастере обновления распределенного коммутатора (distributed switch) теперь поддерживается апгрейд LACP на режим Enhanced mode, а также апгрейд механизма Network I/O Control на версию 3.
• На распределенном коммутаторе теперь можно просматривать настройки групп link aggregation.

Но самое интересное - это вовсе не новый релиз клиента vSphere Client. Самое интересное - это обновленная таблица возможностей, которые позволяет делать этот клиент, а также список функций, которые он исполнять пока не позволяет:

Обе эти таблицы актуальны для самого последнего релиза 3.18, но новые версии vSphere Client, которые регулярно обновляются на VMware Labs, будут постепенно закрывать функциональность, указанную в таблице Unsupported Functionality.

Кстати, VMware уверяет, что на текущий момент vSphere Client 3.18 покрывает 90% возможностей, доступных в Web Client, а в ближайшее время эта цифра наконец-то дорастет до 100%.

Скачать VMware vSphere Client 3.18 можно по этой ссылке, также он идет в составе дистрибутива VMware vSphere 6.5 Update 1.

Спустя почти 9 месяцев с момента выпуска платформы VMware vSphere 6.5, компания VMware анонсировала первый пакет ее обновления - VMware vSphere 6.5 Update 1. Но в таком долгом сроке обновления есть и большой плюс - ведь наверняка на этот раз QA-отдел VMware успел хорошо проверить новый релиз, поэтому критических багов после обновления вылезти не должно (их, кстати, согласно списку Release Notes было немало исправлено). Тем не менее, как обычно мы советуем вам подождать недельку другую перед обновлением на новую версию:)

Давайте посмотрим, что нового появилось в VMware vSphere 6.5 Update 1:

1. vSphere Client теперь поддерживает 90% рабочих процессов.

Последний релиз vSphere Client на базе технологии HTML5 поддерживает практически все рабочие процессы, за исключением некоторых нечасто используемых операций. Совсем немного осталось до стопроцентного покрытия (хотя нам это говорили уже несколько месяцев назад). Надо отметить, что теперь полностью поддерживаются операции с Virtual Distributed Switch (VDS).

2. vCenter Server Foundation теперь поддерживает 4 хоста ESXi вместо трех.

Это сделано по просьбам клиентов, имеющих небольшую инфраструктуру и требующих одну лицензию на vCenter на четное число хостов.

3. Расширенная поддержка сторонних компонентов.

VMware поработала с основными партнерами, решения которых дополняют инфраструктуру vSphere, и выработала подход, который позволит избежать проблем совместимости различных версий платформы в будущем с такими компонентами, как Security Key Management, Proactive HA и т.п.

4. Расширенная поддержка vSphere 6.5 General Support.

VMware решила расширить поддержку платформы vSphere 6.5 до 5 лет, что означает, что она закончится 15 ноября 2021 года.

5. Апгрейд на vSphere 6.5 U1 c vSphere 6.0 U3.

VMware полностью поддерживает рабочий процесс обновления последней версии vSphere 6.0 U3 предыдущего поколения на актуальную версию vSphere 6.5 Update 1. То есть, теперь нет необходимости промежуточного обновления на vSphere 6.5.

6. Обновления драйверов.

Следующие драйвера устройств были обновлены в составе гипервизора ESXi 6.5 Update 1:

• Cavium qlnativefc driver
• VMware nvme driver
• Intel i40en driver with Lewisburg 10G NIC Support
• Intel ne1000 driver with Lewisburg 1G NIC Support
• Intel igbn driver
• Intel ixgben driver
• Broadcom ntg3 driver

7. Улучшения максимумов vCenter.

Теперь у vCenter следующие максимально поддерживаемые параметры (vSphere Domains - это SSO-домены):

• Maximum vCenter Servers per vSphere Domain: 15 (было 10)
• Maximum ESXi Hosts per vSphere Domain: 5000 (было 4000)
• Maximum Powered On VMs per vSphere Domain: 50,000 (было 30,000)
• Maximum Registered VMs per vSphere Domain: 70,000 (было 50,000)

8. Другие улучшения vCenter.

• Интерфейс установщика vCenter Server Appliance (vCSA) доступен для Microsoft Windows 2012 x64, Microsoft Windows 2012 R2 x64, Microsoft Windows 2016 x64 и macOS Sierra.
• TcServer заменен на Tomcat 8.5.8.
• Поддержка кастомизации гостевой ОС Ubuntu 17.04.
• Возможность использования vSphere Update Manager для обновления кластеров vSAN 6.6.1.

• Поддержка внешних СУБД Microsoft SQL Server 2016, Microsoft SQL Server 2016 SP1 и Microsoft SQL Server 2014 SP2.

Кстати, это последний релиз который поддерживает сторонние виртуальные распределенные коммутаторы, такие как IBM DVS 5000v, HPE 5900v или Cisco Nexus 1000v. В следующем релизе их больше нельзя будет использовать, поэтому осваивайте vDS от VMware. Более подробная информация об этом приведена в KB 2149722.

Скачать VMware vSphere 6.5 Update 1 можно по этой ссылке. Ну и еще несколько полезных ссылок для продуктов, которые были обновлены одновременно с основной платформой:

• VMware vCenter Server 6.5 U1 [Release Notes] [скачать]
• VMware vSphere Hypervisor (ESXi) 6.5 U1 [Release Notes] [скачать]
• VMware vSphere Replication 6.5.1 [Release Notes] [скачать]
• VMware Tools 10.1.10 [Release Notes] [скачать]
• VMware vRealize Orchestrator Plug-In for vSphere Replication 6.5.1 [Release Notes] [скачать]
• VMware vSAN Management SDK 6.6.1 [скачать]
• VMware vSAN Witness Appliance 6.5 U1 [скачать]
• VMware vSphere Virtual Disk Development Kit 6.5 U1 [скачать]
• VMware vSphere Web Client SDK 6.5 U1 [скачать]
• VMware Identity Manager 2.9.2 [Release Notes] [скачать]
• VMware Site Recovery Manager 6.5.1 [Release Notes] [скачать]

На днях компания VMware выпустила очередное обновление главного клиента для управления виртуальной инфраструктурой - VMware vSphere Client 3.17. Напомним, что этот клиент на базе технологии HTML5 скоро заменит собой устаревший vSphere Web Client. О прошлой версии vSphere Client 3.16, которая вышла пару недель назад, мы писали вот тут.

Давайте взглянем на новые возможности VMware vSphere Client 3.17:

• Функции создания новой политики хранения ВМ (VM Storage Policy). Пока в рамках данной версии клиента можно делать следующие вещи:
  • Миграция Host Networking на распределенный коммуатор Distributed Switch.
  • Настроить адрес шлюза на адаптерах VMkernel (только в ESXi 6.5).
  • Поддержка механизма управления трафиком Network I/O Control v3.
  • Настройки опций аппаратного обеспечения при клонировании ВМ или развертывании ее из шаблона.
  • Создание политик хранения для томов VVol.
• Также были сделаны следующие улучшения:
  • Оповещение при изменении настроек ВМ или операциях со снапшотами, что машина управляется данным клиентом.
  • Предупреждение, если свободного места на датасторе осталось меньше, чем размер файла, который пользователь пытается залить на датастор.

Скачать тонкий клиент VMware vSphere Client 3.17 можно по этой ссылке.

На сайте проекта VMware Labs появилась очередная заслуживающая внимания утилита DRS Lens, поставляемая в виде виртуального модуля (Virtual Appliance). Она позволяет администраторам виртуальных инфраструктур получить больше информации о работе механизма балансировки нагрузки на хост-серверы VMware vSphere DRS.

Полученная информация располагается на 5 дэшбордах, которые дают представление о различных аспектах DRS.

Summary

Это вкладка с общей информацией. Тут агрегируются данные с других разделов в удобное представление для администратора.

Cluster Balance

Здесь размещен график, показывающий отклонения метрики баланса кластера во временном промежутке, в котором работает DRS. Тут можно определить точки, в которых DRS реагирует на дисбаланс в кластере и перемещает виртуальные машины между хостами.

VM Happiness

На этом дэшборде впервые можно увидеть метрику VM happiness в графическом интерфейсе. Здесь представлена диаграмма, показывающая число ВМ, которые "счастливы" в кластере (то есть работают под нормальной нагрузкой) и число тех, которые "несчастны" (работают в стрессовых условиях при недостатке ресурсов). Пользователь может выбирать отдельные ВМ для просмотра метрик производительности, которые влияют на VM happiness, такие как %CPU ready, memory swapped и т.п.

vMotions

Этот дэшборд предоставляет суммаризованную информацию о миграциях vMotion, которые происходили в кластере по инициативе DRS или пользователя. Для каждого временного периода можно посмотреть разбивку миграций по каждому из этих двух видов. Это не только позволяет наблюдать за количественными показателями работы DRS в миграциях, но и оценить, не делают ли администраторы слишком много миграций vMotion, что влияет на баланс кластера.

Operations

На этом дэшборде можно отслеживать различные операции (задачи на стороне vCenter Server), которые выполнялись с течением времени. Администраторы могут сопоставлять информацию о задачах с этого дэшборда с данными других вкладок.

Все эти вещи позволят более детально ответить на вопрос - а что же именно и когда механизм DRS делает с виртуальными машинами при перемещении между хост-серверами ESXi.

Скачать VMware DRS Lens можно по этой ссылке. После развертывания виртуального модуля утилитой можно пользоваться по следующим адресам:

https://<appliance-ip>/drs/app

http://<appliance-ip>:8080/drs/app

В VMware vSphere есть механизм для создания и анализа кастомных алармов - VMkernel Observations (VOBs). VOB'ы - это системные события, которые можно использовать для пользовательских алармов в целях отладки различных аспектов виртуальной инфраструктуры (сетевого взаимодействия, кластеров vSAN, производительности и т.п.).

Чтобы добавить такой аларм, нужно знать его уникальный идентификатор (ID), ассоциированный с конкретным типом события. Эти события и их ID можно посмотреть в следующем файле на хосте ESXi:

/usr/lib/vmware/hostd/extensions/hostdiag/locale/en/event.vmsg

Если же такой аларм срабатывает, то он записывается в следующий лог-файл:

/var/log/vobd.log

Для того, чтобы создать кастомный аларм на основе VOB, нужно при создании нового аларма выбрать пункт "specific event occuring on this object":

И далее добавить соответствующий идентификатор, например, такой:

esx.problem.vob.vsan.pdl.offline

Событий, для которых можно создать кастомные алармы, очень много. Вот некоторые из них:

Ну а вот так вот будет выглядеть сработавший кастомный аларм в интерфейсе VMware vSphere Web Client:

Компания VMware продолжает обновлять свой веб-клиент для управления виртуальной инфраструктурой на базе технологии HTML 5 и, в принципе, к предстоящему VMworld 2017 должна уже выпустить его релизную версию. Напомним, что о прошлой версии клиента vSphere Client 3.15 мы писали вот тут.

В обновлении VMware vSphere Client 3.16 появилось немало новых возможностей и улучшений. Давайте посмотрим на них:

• Создание новой политики хранения (VM Storage Policy). Пока эта функция имеет ограничения:
  • Создание политики vSAN Policy (без тэгов)
  • Создание политики с тэгами и основными правилами
• Улучшения распределенного коммутатора Distributed Switch
  • Управление физическими сетевыми адаптерами на уровне хоста ESXi
  • Поддержка LACP - просмотр групп link aggregation на распределенном коммутаторе
  • Поддержка SR-IOV - включение/выключение этой технологии на сетевых адаптерах, которые ее поддерживают
• Компонент Content Library (импорт в библиотеку пока не работает)
  • Тэги, заметки и портлет подписки и публикации
  • Изменение настроек библиотек контента
  • Удаление библиотек
  • Функция синхронизации
• Прочие улучшения
  • Выбор стека TCP/IP при создании нового сетевого адаптера VMkernel
  • Исправления ошибок

Скачать VMware vSphere Client 3.16 можно по этой ссылке. Инструкция по его развертыванию доступна тут.

Спустя 8 лет, опять поднимем тему использования кластеров VMware HA/DRS, в которых, по каким-либо причинам, оказались разные версии хост-серверов VMware ESXi. Такой режим работы кластеров допускается со стороны VMware, но при определенных условиях.

Первая и самая важная вещь - совместимость виртуального аппаратного обеспечения виртуальных машин (Virtual Hardware Version), которое увеличивает свою версию с каждым мажорным релизом ESXi. Правило тут простое - более новые версии ESXi могут запускать и исполнять виртуальные машины более старых версий, а вот старые хосты ESXi более новое для себя "виртуальное железо" не запустят.

Данный момент проясняет табличка из KB 2007240:

Обратите внимание, что, например, ВМ с версией HW 11 вы не запустите на ESXi 5.5. Поэтому выход такой - не обновлять старое виртуальное аппаратное обеспечение виртуальных машин, даже если они переехали за счет vMotion на хосты с более новой версией HW.

Второй момент - VMware Tools. Тут уже проще - старую версию тулзов можно эксплуатировать на новых хостах, как и новую на старых - обратная совместимость тоже есть. Убедиться в этом можно с помощью онлайн-утилиты VMware Product Interoperability Matrices, где в поле "Select a Solution" надо выбрать VMware Tools, а в поле "Add Platform/Solution" - платформу VMware vSphere Hypervisor (ESXi):

Но обратная совместимость тоже не бесконечная - VMware Tools версии 10.1.5, как мы видим, не получится использовать на VMware vSphere 5.1 Update 3.

Кстати, чтобы обновить VMware Tools, можно переместить ВМ с помощью vMotion на хост ESXi с более высокой версией и выбрать пункт "Install/Upgrade VMware Tools" в vSphere Web Client.

Второй способ обновления VMware Tools - это просто скачать их по ссылке с официального репозитория для вашей гостевой ОС:

https://packages.vmware.com/tools/esx/index.html

Ну и третий, заключительный, но самый важный момент при использовании смешанных кластеров (VMware их называет mixed clusters) - это возможности VMware HA, DRS, FT и прочих функций, которые предоставляет соответствующая версия ПО от VMware.

Например, в версии vSphere 6.5 появилось много нового с точки зрения технологии HA (к примеру, механизм Admission Control стал рассчитывать параметры для несбалансированных кластеров автоматически).

Поэтому самый простой и эффективный выход - это смешанные кластеры не создавать, а создать два разных кластера - для старых и для новых хост-серверов. Да, это может вам стоить в каком-то случае на один хост больше, но это того стоит.

Интересная утилита VM Deployer обнаружилась у компании DoubleCloud. Они ее сделали потому, что у их пользователей не получалось установить виртуальный модуль (Virtual Appliance) в формате OVF с основным продуктом компании vSearch Appliance.

При этом VM Deployer подходит для любого виртуального модуля в формате OVA или OVF, который не получается развернуть через vSphere Web Client. при этом не хочется использовать консольные команды для установки, где можно ошибиться в путях, наборе параметров и другом.

VM Deployer 1.1 представляет собой Java-приложение с графическим интерфейсом, которое не требует установки и позволяет интегрировать виртуальный модуль в инфраструктуру предприятия.

Вот его основные особенности:

• Не требующий установки продукт с графическим интерфейсом для платформ Windows, Mac, Linux (плюс любая ОС, где поддерживается Java).
• Поможет установить как OVA, так и OVF (свойства обоих форматов поддерживаются).
• Работает как на vCenter, так и для отдельных ESXi для версий vSphere 4.0 - 6.5.
• Не нужно вручную вбивать в консольную команду папку, хост, датастор, сеть, а можно просто их выбрать в соответствующих полях ввода.
• Быстрое развертывание модуля за счет оптимизации обращения к API.
• Почти не занимает место - всего 2,5 МБ.

Загрузить VM Deployer 1.1 можно по этой ссылке (надо промотать страницу пониже).

На днях компания VMware обновила свой главный клиент для управления виртуальной инфраструктурой до версии VMware vSphere Client 3.15 (напомним, что он построен на основе технологии HTML 5). Несмотря на то, что он еще много чего не умеет, в скором времени он заменит более медленный vSphere Web Client, работающий на базе старой технологии Adobe Air.

Последний раз мы писали о vSphere Client версии 3.13, поэтому приведем ниже основные возможности и улучшения последних двух версий клиента:

• Создание виртуальной машины с прицеплением к ней существующего виртуального диска vmdk.
• Создание ВМ с диском типа RDM.
• Совместимость с политиками хранилищ (Storage Policies), в том числе поддержка политики удаления ВМ.
• Ссылка "More info..." для VMware Tools на странице VM Summary.
• Действие "Customize Guest OS" для виртуальной машины. Для этого действия добавлены валидация и проверка пермиссий для мастеров Clone/Deploy VM.
• Нотификация для выполнения операций на одной или нескольких ВМ.
• Добавлена строчка "Managed By" в описании, что показывает, что хост находится под управлением vSphere Client.
• Создание ВМ с кастомной политикой управления питанием (Power Management, задается на странице Customize Hardware > VM Options).
• Улучшена производительность основного дэшборда.

Скачать VMware vSphere Client 3.15 можно по этой ссылке.

В настройках сервера VMware vCenter можно устанавливать уровни сбора статистик, собираемых с различным интервалом и хранимых заданное время. Кроме того, можно устанавливать примерный размер виртуальной инфраструктуры в хост-серверах и виртуальных машинах, что позволит грубо оценить размер базы данных vCenter.

Зайдем в консоль vSphere Web Client, далее выберем на vCenter и идем на вкладку "Configure". В разделе Settings выбираем пункт "General" и нажимаем "Edit". Тут в разделе "Statistics" мы увидим вот такую картину:

Здесь мы видим 4 уровня статистик, которые отличаются, в первую очередь, интервалом сбора данных. Каждая из трех колонок - Interval Duration, Save For и Statistics Level - может быть изменена для соответствующего уровня.

Чем выше уровень Statistics Level, тем больше данных будет собираться. Всего тут четыре уровня, а на уровне 4 собираются самые детальные статистики (их надо использовать только для целей глубокой отладки, так как база данных vCenter будет очень быстро заполняться).

По умолчанию тут значения такие (для всех интервалов используется уровень детализации Level 1):

• Данные, собираемые с интервалом 5 минут, хранятся в течение 1 дня.
• Данные, собираемые с интервалом 30 минут, хранятся в течение 1 недели.
• Данные, собираемые с интервалом 2 часа, хранятся в течение 1 месяца.
• Данные, собираемые с интервалом 1 день, хранятся в течение 1 года.

Здесь все понятно. А правило тут простое: чем больше интервал, тем выше (цифра больше) уровень статистики нужно использовать (или тот же, что и для меньшего интервала). Например, можно поставить уровень 4 для интервала 1 день, 3 - для двух часов, 2 - для 30 минут и 1 - для 5 минут. Об этом говорит и официальная документация VMware:

The statistics level must be less than or equal to the statistics level that is set for the preceding statistics interval. This is a vCenter Server dependency.

Далее в этом окне мы видим возможность задания числа хостов и виртуальных машин в вашей инфраструктуре. В правой части "Estimated space required" можно увидеть результат задания значений - предполагаемый размер базы данных vCenter.

William Lam рассказал интересную штуку - настройками клиента для управления хост-серверами VMware ESXi Embedded Host Client можно управлять через Advanced Settings. Имеются в виду те параметры, которые доступны в меню Settings на хосте:

Этими конфигурациями можно управлять через расширенные настройки (Advanced Settings), которые доступны в разделе "System" клиента. Для этого используется пространство UserVars:

Несмотря на префикс этих настроек, они применяются ко всему хосту в целом, а не на уровне пользователей ESXi. Также ими можно управлять через vSphere API или любой другой vSphere SDK/CLI (устанавливать, получать дефолтное значение, а также узнавать, не перекрыты ли они).

Вот, что значат эти строчки и их дефолтные параметры:

Как знают некоторые администраторы VMware vSphere, среди интерфейсов vSphere API есть механизм взаимодействия с виртуальными машинами через VMware Tools, который называется VMware vSphere Guest API.

Утилита VMware Tools Client, написанная Pierre Laine, позволяет подключиться к виртуальной машине через этот интерфейс, загружать/скачивать с нее файлы и скрипты и исполнять их. Это может оказаться полезным, когда вы потеряли сетевой доступ к виртуальной машине (например, внутри гостевой ОС что-то отвалилось).

VMware Tools Client соединяется с сервером vCenter, получает его иерархию через vCenter Inventory Service, после чего можно работать с виртуальными машинами для следующих целей:

• Выполнение в гостевой ОС отдельных команд (например, пинг из ВМ) или скриптов
• Загрузка, сохранение и удаление скриптов на ВМ (а также любых других файлов)
• Загрузка скрипта из файла

Утилита кроссплатформенная с интерфейсом на JavaFX, поэтому может быть запущена на Linux/Windows системах. Также она не требует установки. На данный момент она находится в бете версии 0.2. В составе идет база данных SQLLite, в которой хранятся логины/пароли от vCenter и виртуальных машин. Скачать VMware Tools Client можно по этой ссылке.

В свете последних событий, связанных с WannaCry ransomware, очень актуальным становится проверка наличия того или иного установленного патча (Patch/Hotfix/KB) внутри ОС виртуальных машин. Test-VMHotfix из моего PowerCLI Vi-Module модуля быстро и эффективно проверит все ваши ВМ. Пользоваться функцией проще простого, передайте в pipeline ВМ для проверки и шаблон названия патча в параметре -KB...
Таги: VMware, PowerCLI, Security, vSphere, VMachines

Вышел кастомизированный образ HPE Customized ESXi May 2017.

Оказывается, еще в начале мая компания HP совместно с VMware выпустила кастомизированный образ гипервизора vSphere - HPE Customized ESXi May 2017, предназначенного для установки на серверы HP.

Этот релиз для многих администраторов является важным событием, так как прошлый кастомизированный образ HPE Custom ESXi от ноября 2016 года содержал в себе некоторые проблемы, касающиеся драйверов и работы с хранилищами (в частности, наблюдалась низкая скорость записи на локальные диски). Возможно, в этом релизе данные проблемы решены, по крайней мере новый набор драйверов должен улучшить некоторые вещи.

HPE Customized ESXi May 2017 доступен для скачивания по этой ссылке. Предыдущие образы (для более ранних версий гипервизора) можно также скачать с сайта VMware по этим ссылкам:

• vSphere 6.0 U3 Feb 2017
• vSphere 6.0 U2 Dec 2016
• vSphere 6.0 U1 Jan 2016
• vSphere 6.0 July 2015
• vSphere 5.5 U3 Dec 2016
• vSphere 5.5 U2 Sept 2015
• vSphere 5.5 U1 Dec 2014
• vSphere 5.5 June 2014
• vSphere 5.1 U3 Apr 2016

Номера билдов и их содержимое приведены вот в этом документе HPE (там же есть ссылки на соответствующие драйвера и офлайн бандлы ESXi). Ну а руководство по кастомизированным билдам HPE Custom ESXi находится вот тут.